我们考虑了OOD概括的问题，其目标是训练在与训练分布不同的测试分布上表现良好的模型。已知深度学习模型在这种转变上是脆弱的，即使对于略有不同的测试分布，也可能遭受大量精度下降。我们提出了一种基于直觉的新方法 - 愚蠢的方法，即大量丰富特征的对抗性结合应提供鲁棒性。我们的方法仔细提炼了一位强大的老师的知识，该知识使用标准培训学习了几个判别特征，同时使用对抗性培训将其结合在一起。对标准的对抗训练程序进行了修改，以产生可以更好地指导学生的教师。我们评估DAFT在域床框架中的标准基准测试中，并证明DAFT比当前最新的OOD泛化方法取得了重大改进。 DAFT始终超过表现良好的ERM和蒸馏基线高达6％，对于较小的网络而言，其增长率更高。
translated by 谷歌翻译